McNerney được sinh ra ở Providence, Đảo Rhode. Ông tốt nghiệp trường trung học New Trier ở Winnetka, Illinois năm 1967. Anh theo học Đại học Yale, nhận bằng cử nhân năm 1971. Khi còn ở Yale, anh là thành viên của Hội đồng huynh đệ Delta Kappa Epsilon. Tại Yale, anh ấy xuất sắc trong bóng chày và khúc côn cầu. Sau khi tốt nghiệp Yale, ông làm việc một năm tại cả British United Provident và G.D. Searle, LLC, sau đó theo học trường kinh doanh Harvard, nhận bằng thạc sĩ quản trị kinh doanh năm 1975.